Попрошу не выражаться: как языковые модели ИИ адаптируются под культурный контекст

В конце прошлого года математики, лингвисты и культурологи из Центра междисциплинарных исследований Московского физико-технического института (МФТИ) представили необычное исследование. Ученые решили выяснить, насколько хорошо большие языковые модели разбираются в культурном контексте. Для этого алгоритмам задавали вопросы, связанные со стереотипами, литературными отсылками и известными цитатами из интернета. Такие эксперименты наглядно показывают, как современные ИИ-программы адаптируются под национальную культуру, утверждают авторы проекта. К каким выводам пришли исследователи, зачем проверять ИИ на знание мемов и что нейросети знают о ретроградном Меркурии, рассказываем в нашем материале.

Ненадежный рассказчик  

Большая языковая модель (англ. LLM, Large Language Model) — это вид нейронных сетей, способный генерировать текст. Об этих программах сейчас можно часто услышать, возможно, и вы пользуетесь одной из них, например ChatGPT. Такие алгоритмы обучаются на больших объемах данных: книги, статьи, научная и художественная литература, и другие текстовые ресурсы. Чем больше данных модель освоит, тем лучше она справится с поставленной перед ней задачей: написать письмо в официально-деловом стиле, перевести публикацию с одного языка на другой, отредактировать материал.

Несмотря на их широкое использование — от бизнес-задач (например, автоматизация процессов или написание кода) до бытовых вопросов (подсказать рецепт яблочного пирога или составить подборку фильмов на выходные), у больших языковых моделей есть недостатки. Например, языковая модель не всегда поймет локальную шутку или отсылку на какой-нибудь популярный видеоролик. Почему это важно и зачем вообще нейросетям нужно разбираться в таких вопросах?

Дело в том, что большие языковые модели зачастую воспринимаются как совершенные алгоритмы, способные решить любую задачу, будь то ведение переговоров с заказчиком или общение с целевой аудиторией, чтобы повысить лояльность к продукту. Но на практике такие программы легко могут допустить ошибку. Любая неточность может привести к негативным последствиям для пользователей и компаний, которые их используют.

По мнению младшего научного сотрудника Центра междисциплинарных исследований МФТИ Ксении Клоковой, сегодня люди проявляют слишком много доверия по отношению к нейросетям. Но даже самым популярным языковым моделям не чужды фактические ошибки и галлюцинации (подробнее об этом явлении мы рассказывали здесь).

«Языковые модели часто используются как „болталки“, с которыми пытаются вести беседы, спрашивают у них мнение, ожидают, что программа подстроится под индивидуальные особенности и интересы человека. С этой точки зрения программы, конечно, стараются развивать, но ждать от тех же голосовых помощников правильной реакции на специфические вопросы не стоит. Они не всегда понимают, о чем их просят», — говорит эксперт. И хотя новости в сфере искусственного интеллекта и глубокого обучения сейчас на слуху, несмотря на активное развитие в этой области, далеко не всегда понятно, каких результатов ждать от технологий и как их интерпретировать, отметил ректор МФТИ Дмитрий Ливанов.

Карьерист, неформал, интеллигент

На эту проблему обратили внимание сотрудники Центра междисциплинарных исследований МФТИ вместе со специалистами в области культурологии и лингвистики. Ученые предложили новый метод, позволяющий проанализировать встроенность больших языковых моделей в национальную культуру. Презентация проекта под названием «Культурные замеры больших языковых моделей» состоялась на площадке института.

«С одной стороны, нам нужен всезнающий гуру, который будет давать правильные советы. С другой стороны, мы нуждаемся в равноправном собеседнике, близком нам по духу, культуре и даже речевому стилю. Чтобы создать приятного собеседника, необходимо выделить наши собственные культурные и языковые черты и передать их модели, нужно тренировать ее на „общение“ с разными культурными типами», — рассказал лингвист, доктор филологических наук, профессор Максим Кронгауз.

Для эксперимента авторы разработали восемь ключевых культурных типов с присущими им стереотипами, ценностями, фразами и шутками. Среди них: советский интеллигент, современный интеллектуал, ИТ-визионер, карьерист-«достигатор», духовный практик, неформал, человек трендовый и базовый тип. Под каждого из них составили тематическую карту, включающую литературу, музыкальные произведения, кино, спорт, телевидение, интернет и другие области. Специалисты отметили, что в будущем список культурных типов для тестирования языковых моделей можно расширить.

Помимо прочего, в базы данных вошли речевые клише, стереотипы, мемы, цитаты, фразеологизмы, пословицы и поговорки. А также лексика, определяющая конкретный слой общества. Например, выражение «быть в ресурсе», которое часто ассоциируется с духовными практиками. Или термин «единорог», обозначающий компанию, достигшую оценки в 1 млрд долларов в течение десяти лет с момента основания (его добавили в тематическую карту карьериста).

Отдельное внимание специалисты уделили словам и выражениям по теме детства, которая не относится к какому-либо из вышеперечисленных типов, однако несет значительный культурный пласт. В список попали персонажи русских народных сказок, литературные отсылки, детские пословицы и выражения.

«Зачет» по мемологии 

На основе подготовленных датасетов разработчики составили 400 вопросов и адресовали их десяти самым продвинутым языковым моделям с поддержкой русского языка. Ученые не стали их обучать на разработанных базах данных или как-то дорабатывать, поскольку задачей было именно проверить текущую осведомленность нейросетей. В результате исследователи получили 4 000 ответов, проанализировали их и смогли выяснить, какие из выбранных алгоритмов лучше других разбираются в различных культурных аспектах.

Самыми «знающими» оказались последние версии алгоритма GPT-4, а также чат-бот Claude. Эти программы дали больше всего правильных ответов на вопросы, связанные с культурными явлениями. Например, они смогли распознать известную строчку из «Сказки о царе Салтане» А. С. Пушкина и знали, что «красота» — это страшная сила.

Те алгоритмы, которые были незнакомы с популярными высказываниями, зачастую воспринимали вопросы буквально и пытались подойти к ним логически. В частности, на вопрос о том, что является страшной силой, большинство ответили «радиация», а не красота. Отвечая на вопрос «какое астрономическое явление негативно влияет на жизнь человека?» (в качестве правильного ответа разработчики обозначили «ретроградный Меркурий») чаще всего языковые модели называли «метеоритный дождь». Изучая результаты, специалисты сделали еще одно интересное наблюдение. Выяснилось, что некоторые языковые модели более разборчивы в лексике «духовных практиков», а другие с большей долей вероятности найдут общий язык с «ИТ-визионерами».

Авторы проекта сообщили, что исследование и собранные по нему вопросы для ИИ в будущем можно использовать как инструмент для сравнения языковых моделей и их версий, а также для обучения, настраивания модели на определенный культурный тип, конкретного человека или даже настроение. «Понятно, что не бывает строго определенных культурных типов, мы все разные, да и вопросы в этом эксперименте специфичные. Но если говорить о том, чтобы натренировать нейросеть, научить ее лучше понимать какие-то культурные особенности человека, то наше исследование может стать полезным инструментом для таких целей. Это шаг в сторону персонализации, о которой сегодня часто говорят разработчики языковых моделей», — объясняет Ксения Клокова.

По ее словам, с помощью разработанного специалистами метода можно понять, насколько модель всесторонняя, сделать интерфейс более релевантным и дообучить программу так, чтобы в дальнейшем отношения с пользователями стали более доверительными.

Народный датасет  

В подобных исследованиях сегодня заинтересованы разработчики российских языковых моделей, некоторые из которых уже проводят собственные тестирования на знание культурного контекста. Например, недавно специалисты компании Яндекс оценили знания культурного кода у YandexGPT. Систему проверяли в том числе на понимание отсылок к фильмам и песням, а также цитат, традиций, анекдотов и мемов. В список вопросов вошли: «Чего, по мнению Виктора Цоя, требуют наши сердца и глаза?» (правильный ответ: перемен), «Какое звание у Очевидности?» (правильный ответ: капитан) и «Сколько шагов отделяет любовь от ненависти, если верить пословице?» (правильный ответ: один).

Всего аналитики составили 2 000 вопросов, которые протестировали на ИИ-тренерах, чтобы узнать, как с ответами справляется человек. Результаты показали, что средний уровень у тренеров составил 78% правильных ответов, в то время, как YandexGPT Pro 4 справился на 63%.

Кроме того, стало известно, что в 2025 году Сбер начнет собирать «народный датасет» для обучения своих нейросетевых моделей GigaChat и Kandinsky. В проекте смогут поучаствовать все желающие. Предполагается, что это позволит ИИ получить полную информацию о небольших регионах, малых народах России и городской специфике.

Как объяснил порталу Наука.РФ директор VK Predict Роман Стятюгин, такие исследования являются вполне стандартными и представляют классический подход построения бенчмарков (от англ. benchmark «критерий» — тесты для вычислительной системы, чтобы определить ее производительность). Вышеупомянутый проект, организованный университетом — это пример методик, которые применяют, чтобы понять, насколько хорошо модели решают определенный тип задач.

«Аналогичные тесты проводят, чтобы проверить уровень фактических знаний LLM по различным темам (такой метод называется MMLU), решением задач по математике (Math), а также по биологии, физики и химии (GPQA). В данном случае речь идет о бенчмарке на знание российского культурологического контекста», — говорит эксперт.

По его мнению, метод может помочь разработчикам в оценке своих моделей, чтобы в дальнейшем правильно их настроить и повысить качество технологии. Лучше всего соответствовать культурному контексту будут те модели, для которых разработчики реализуют собственный претрейн (предобучение), а не только занимаются настройкой.

Но есть и другая проблема. Известно, что сейчас для обучения российских языковых моделей, как правило, используют все доступные источники. В том числе международные, из-за чего возникает риск, что эти данные будут сильнее влиять на результаты. В итоге может получиться как в примере, когда на просьбу показать картинку с жуками программа выдает фотографию популярной британской рок-группы, а «малиновую шестерку» представляет как цифру, состоящую из ягод. 

Скорее всего, в ближайшем будущем эту задачу удастся решить. Нет сомнений, что в 2025 году искусственный интеллект продолжит стремительно развиваться и останется одной из главных технологий. Инструменты и компетенции для этого есть, а значит, что скоро мы заговорим с ИИ на одном, понятном для всех языке.

Анна Шиховец